Nkrumah tidak pernah kembali ke Ghana, tetapi beliau terus mengusahakan visinya terhadap perpaduan Afrika. Beliau hidup dalam buangan di Conakry, Guinea sebagai tetamu Sekou Toure, dan menghabiskan masanya untuk membaca, menulis, berutus-utus surat, berkebun, dan meraikan tetamu. Walaupun telah bersara daripada dunia politik, ketakutannya terhadap agensi-agensi perisikan barat tidak reda. Apabila tukang masaknya mati, Nkrumah berasa takut bahawa ada orang hendak meracuninya dan beliau mula menyorokkan makanannya di dalam bilik sendiri. Beliau mengesyaki bahawa perisik-perisik asing sedang membaca surat-suratnya, dan hidup dalam ketakutan pemelarian dan pembunuhan yang tetap. Pada Ogos 1971, beliau diterbang ke Bucharest, Romania untuk rawatan perubatan dan maut, akibat barah, pada April 1972. Nkrumah dikebumikan di sebuah kubur (masih wujud) di Nkroful, kampung asalnya di Ghana, tetapi jasadnya kemudian dipindahkan ke sebuah kubur dan taman peringatan negara yang besar di Accra.